RP-OPSD: Reasoning-Pivot-Guided On-Policy Self-Distillation for Multilingual Reasoning Transfer
推理枢轴引导的在线策略自蒸馏实现多语言推理迁移
🧭 训练策略 · 推理枢轴引导 ★ 深度解读
National Key Laboratory for Novel Software Technology, Nanjing University
通过对比有无英文参考解答的教师分布，定位推理枢轴并引导特权蒸馏，提升多语言数学推理能力
📌 工作参考价值（4 点）
- 关键 token 定位：在序列生成任务（如推荐理由、搜索 query 改写、商品摘要）中，可利用两个视图（有无特权上下文）的分布差异，自动识别影响下游推理/决策的关键 token，不必依赖人工标注。
- 蒸馏权重分配：借鉴 PRS 得分与 RPT 门控，在模型蒸馏时将监督信号集中到“推理枢轴”token（如逻辑连词、状态更新词），避免在表面填充词上浪费容量，提升跨领域迁移效率。
- 语言风格锚定：引入冻结参考策略进行锚定损失，可在多语言推荐或广告文案生成中，既注入外部知识（如英文产品描述）又不破坏目标语言的流畅度，缓解 RL 或蒸馏带来的语言退化。
- 训练稳定性：门控分数来自同一模型的两个视图对比，无需额外教师网络，且运行时统计归一化适应不同训练阶段，可降低工程部署复杂度，适合在线蒸馏场景。